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基于 深度 学 习 的 混凝土 结构 多 病害 检测 
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[摘要 ] 本 文 针 对 混凝土 常见 病害 ， 提 出 了 一 种 改进 Unet 网 络 对 混凝土 多 病害 进行 检测 的 方法 ， 建 立 了 一 个 包 
含混 凝 土 裂 终 、 泛 碱 、 和 剥落、 露 筋 、 孔 洞 数据 集 ， 再 裁剪 原始 图 像 ， 选 取 10000 张 小 块 图 像 进行 随机 翻转 ， 共 产 
生 13200 张 病害 数据 集 用 于 研究 ， 最 后 ， 将 数据 集 对 改进 的 Unet 网 络 进行 训练 、 验 证 和 测试 ， 实 现 了 像素 级 病 
害 区 域 识 别 。 为 验证 网 络 模型 性 能 ， 将 模型 与 原 Unet、 基 于 VGG16 的 Unet、FCN 和 基于 ResNet50 的 FCN 进行 
了 比较 ， 结 果 表 明 所 改进 的 网 络 模型 检测 效果 优 于 其 他 模型 。 为 测试 模型 鲁 棒 性 ， 利 用 滑动 窗口 算法 对 不 同 环境 
下 Pe ， 取 得 了 较 好 的 检测 效果 。 
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Multiple disease detection of concrete structures based on deep learning 
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Abstract: Aiming at the common diseases of concrete, this paper proposes an improved Unet network to detect multiple 


diseases of concrete, and establishes a data set containing concrete cracks, efflorescence, spalling, exposed tendons, and 


holes; afterwards, the original images are cropped and 10000 pieces are selected. The block images are randomly flipped 


to produce a total of 13200 disease data sets for research; finally, the data sets are used to train, verify and test the 


improved Unet network to realize pixel-level disease area recognition. In order to verify the performance of the network 
model, the model was compared with the original Unet, VGG16-based Unet, FCN and ResNet50-based FCN. The results 
show that the improved network model detection effect is better than other models. In order to test the robustness of the 


model, the sliding window algorithm is used to globally detect concrete diseases in different environments, and good 


detection results have been achieved. 
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引言 

混凝土 作为 桥梁 、 大 坝 、 房 屋 等 结构 的 组 成 
部 分 ， 在 维持 结构 正常 使 用 中 发 挥 着 重要 作用 。 
随 着 国民 经 济 的 发 展 ， 这 些 基 础 设施 都 在 不 断 增 
长 ， 且 随 着 使 用 年 限 的 增加 ， 受 外 部 荷载 以 及 环 
是 雪 侵蚀 等 影响 ， 结 构 耐 久 性 问题 也 
士 表面 容易 出 现 病害 现象 。 常 
见 的 混凝土 病害 有 和 裂缝、 剥落 、 孔 洞 、 露 筋 、 蜂 
、 麻 面 等 。 中 弄 维 是 病害 发 展 的 最 初 形态 ， 
结构 检测 当中 裂缝 检测 十 分 重要 ， 微 小 裂缝 不 


境 温 湿度 、 月 


不 断 涌现 。 在 混交 


会 影响 结构 的 安全 性 , 但 当 裂 颖 达到 一 定 限 值 时 ， 
外 部 环境 中 的 腐蚀 物质 〈 如 水 蒸气 等 ) 进入 结构 ， 
造成 钢筋 锈蚀 ， 体 积 膨胀 ， 使 得 混凝土 裂 颖 进 一 
步 扩展 ， 进 而 发 展 为 剥落 、 露 筋 等 其 他 病害 ， 演 


化 过 程 如 图 1 所 示 。 
传统 的 人 工 检 测 方法 需要 检测 人 员 去 现场 采 


集 图 像 ， 
观 经 验 ， 


效率 低 且 检 洲 
具有 不 而 


人 一世 
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E22 


型 来 实现 自 


， 往 往 特定 
像 存在 噪音 或 光 R 
度 学 习 的 检测 


/fe 


只 能 


度 依 赖 于 检测 人 员 的 3 
E。 因 此 ， 
缺陷 检测 技术 应 运 而 生 ， 目 前 ， 
土木 领域 主要 应 用 于 混凝土 裂缝 检测 ， 
种 病害 检测 的 研究 较 少 , 使 得 病害 检测 不 够 4 
主要 的 裂缝 检测 技术 可 分 为 两 种 ， 
像 处 理 的 裂缝 检测 技术 号 ” 
的 裂缝 检测 技术 。 基 于 数字 
主要 针对 某 特定 病害 设计 相关 算法 ， 依 赖 人 工 调 
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取 特 征 ， 并 


检测 效果 和 性 能 有 了 极 大 的 改进 。 


空气 、 水 等 腐 剖 物质 进入 


混凝土 保护 层 开 棵 剥落 
总 全 从 钢筋 锈蚀 不 断 聚集 


和 NAN 


混凝土 剥落 露 筋 演 化 过 程 


图 1 


随 着 计算 机 技术 的 发 展 ， 深 度 学 习 已 广泛 应 
于 计算 机 视觉 领域 ,产生 了 许多 经 典 的 检测 算 
法 ， 如 FCN、SDD、Unet® 等。 研究 人 员 将 这 
最 新 技术 引入 到 土木 工程 领域 来 检测 混凝土 病 
害 。 韩 晓 健 等 加 将 深度 学 习 和 数字 图 像 处 理 技术 
相 结 合 , 提出 了 一 种 基于 深度 学 习 和 裂缝 检测 方法 ， 
检测 精度 在 验证 集 上 平均 正确 率 达 到 了 98.39%。 
Cha 等 中 利用 深度 卷 积 神经 网 络 对 识别 混凝土 裂 
颖 ， 采 用 滑动 窗口 技术 检测 任意 大 小 图 像 ， 实 现 
了 对 裂缝 分 类 。Park 等 四 使 用 两 阶段 深度 学 习 方 
法 先 利 用 分 割 来 提取 路 面 ， 随 后 通过 分 析 提 取 路 
面 内 单位 斑 块 来 检测 裂缝 。 李 国 焰 等 外 提出 一 种 
结合 形态 学 操作 与 对 比 度 增 强 的 预 处 理 算法 用 于 
图 像 处 理 ， 再 利用 基于 裂 颖 几何 特征 算法 实现 了 
对 裂缝 区 域 的 提取 。 虽 然 这 些 研 究 方法 都 能 够 准 
确 的 定位 裂缝 位 置 , 但 无 法 对 裂缝 骨架 进行 提取 ， 
不 能 直观 观察 裂缝 形态 。 或 者 虽 能 够 提取 和 裂 颖 
域 特征 ， 但 应 用 的 算法 无 法 胜任 不 同 环 境 下 的 
测 ， 鲁 棒 性 不 强 。 
基于 深度 学 习 的 语义 分 割 技术 把 图 像 中 每 个 
像素 作为 分 类 对 象 ， 在 像素 级 对 图 像 中 不 同类 别 
进行 精准 分 割 。2014 年 Long 等 中 提出 的 全 卷 积 
神经 网 络 (FCN) 是 语义 分 割 的 开山 之 作 ， 之 后 
Ronneberge 等 又 提出 Unet 中 网 络 ， 该 网 络 可 以 端 
到 端的 训练 网 络 模型 ， 从 而 可 以 输出 与 输入 时 同 
等 尺度 的 图 像 。 本 文 主要 在 前 人 研究 裂缝 基础 上 ， 
扩展 了 混凝土 病害 的 种 类 ， 针 对 5 中 常见 的 混 凝 
土 病害 : 裂缝 、 剥 落 、 孔 洞 、 泛 碱 、 露 筋 ， 改 进 
了 Unet 语义 分 割 网 络 模型 , 实现 了 对 混凝土 结构 
多 种 病害 像素 级 识别 检测 。 
1 网络 结 构 

所 提出 的 网 络 为 Res-Unet 网 络 。 将 Unet 作 

为 基本 框架 ，ResNet-50 作为 编码 器 。 结 构 如 图 2 
所 示 。ResNet-50 编码 器 部 分 权重 采用 了 在 
ImageNet 上 预 训练 的 权重 值 ， 通 过 迁移 学 习 可 以 
使 得 模型 加 速 收 敛 。 网络 由 一 系列 的 功能 层 组 成 ， 


七 区 


包括 卷 积 层 (Conv)、 批 归 一 化 层 CBN)、 非 线性 
激活 层 (ReLU)、 反 卷 积 层 (Deconvolution)、 全 
连接 层 〈Conv1x1) 等 。 

网 络 第 一 层 为 输入 层 ， 输 入 维度 为 480x480x3 
的 图 像 ， 第 二 层 为 卷 积 层 ， 卷 积 核 大 小 为 7x7， 
步 长 为 2， 补 零 为 3， 数量 为 64， 将 输入 下 采样 
为 原来 一 半 。 之 后 是 批 归 一 化 层 (BN)， 线 性 激 
活 层 (ReLU)， 以 及 步 长 为 2 的 最 大 池 化 层 。 最 
大 池 化 层 之 后 是 残 差 模块 〈Resdual Blocks)， 在 
ResNet50 中 残 差 模块 分 为 4 组 ， 每 组 数量 分 别 为 
3、4、6、3。 模 块 大 小 由 1x1、3x3、1x1 的 3 个 
卷 积 核 组 成 ， 这 样 设 计 是 为 了 在 保证 精度 的 同时 
降低 参数 量 ， 从 而 减少 计算 开销 ， 模 块 结构 如 图 
3 所 示 。 模 型 保留 了 除 预 训练 ResNet50 网 络 中 末 
开平 均 池 化 层 (Average Pooling ) 及 全 连接 层 
(Fully Connecting) 之 外 的 所 有 层 。 这 两 层 网 络 
由 解码 器 代替 ， 解 码 器 由 上 采样 (Upsampling) 
模块 组 成 ，Res-Unet 采用 了 5 次 上 采样 。 每 次 执 
行 上 采样 〈 反 卷 积 ) 时 ， 特 征 图 空间 分 辨 率 加 倍 
通道 数 减 半 ， 并 最 终 增加 到 输入 层 原 图 大 小 ， 这 
样 整个 网 络 就 实现 了 端 到 端的 输入 。 每 个 上 采样 
模块 由 一 个 内 核 大 小 为 2x2， 步 长 为 2 的 转 置 卷 
积 层 、 一 个 拼接 层 (Concat)、 一 个 批 归 一 化 层 
(BN) 和 一 个 ReLU 激活 层 组 成 。 同 时 ， 在 上 采 
样 过 程 中 ， 将 下 采样 块 与 其 相应 的 具有 相同 空间 
分 状 率 的 上 采样 块 相连 ， 这 样 保证 了 最 后 恢复 出 来 
的 特征 图 融合 了 更 多 的 低层 次 的 特征 ， 也 使 不 同 尺 
度 的 特征 融合 ， 丰 富 了 语义 信息 。 之 后 进行 两 次 卷 
积 操作 ， 卷 积 核 大 小 为 3x3， 步 长 为 1， 补 零 为 1， 
共同 作为 下 一 上 采样 块 的 输入 。 在 输出 端 , 使 用 1x1 
卷 积 层 来 获得 具有 与 类 别 数 相 同 的 输出 通道 的 特 
征 图 。 网 络 的 具体 实施 细节 如 表 1 所 示 。 
2 ”数据 集 与 环境 参数 配置 
2.1 建立 数据 集 

本 文 针 对 混凝土 裂缝 、 和 剥落 、 泛 碱 、 孔 洞 、 
露 筋 五 种 常见 病害 , 建立 的 数据 集 包 含 3 个 来 源 : 
(1) 使 用 相机 在 不 同 光照 条 件 下 拍摄 了 200 张 
分 辨 率 为 4608x3456 的 房屋 、 桥 梁 相关 病害 图 像 ; 
(2) 从 互联 网 收集 了 500 张 分 辨 率 不 等 的 病害 
图 像 ;3) 选取 部 分 LI SY 等 中 开源 的 病害 数 
据 集 。 原 始 数 据 集 如 图 4 所 示 。 

将 滤波 之 后 的 图 像 进 行人 工 像素 级 标注 ， 采 
用 PixelAnnotationTool 软件 制作 真 值 标 签 〈The 
Ground Truth)。 如 图 5 所 示 。 为 了 生成 更 多 数据 
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1xl Conv，64 全 Copy Concat | Conw 
| Ix 
1 3x3 Conv, 64 lo 二 
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3x3 Conv, 256 6 t 
| 1xl Conv, I"1024 1024 加 1024 He 1024 
i 
和 i 
1xl Conv, 512 Co conV 
3x3 Conv, 51219 3 
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图 2 Res-Unet 网 络 结构 
Res-Unet 的 具体 实施 细节 表 1 
层 数 类 型 卷 积 核 大 小 步 长 填充 通道 数 输出 大 小 通道 数 
1 Input = = = 480x480 3 
2 Conv_1+BN+ReLU 7x7 2 3 64 240x240 64 
3 Maxpool_1 3x3 2 1 二 120x120 64 
1x1 64 
4 Residual blocks_1(RB) 3x3 |x3 1 1 64 120x120 256 
1x1 256 
1x1 1 128 
5 Residual blocks_2(RB) 3x3|x4 2 1 128 60x60 512 
[1x1 1 512 
lx1 1 256 
6 Residual blocks_3(RB) 3x3|x6 2 1 256 30x30 1024 
[1x1 1 1024 
x1 1 512 
7 Residual blocks_ 4(RB) 3x3|x3 2 1 S12 15x15 2048 
[1x1 1 2048 
Transpose Conv_1 2x2 2 a 1024 30x30 1024 
9 Concat_1 = 2 a = 30x30 2048 
10 Conv_block1 3x3 1 1 1024 30x30 1024 
1 Transpose Conv_2 2x2 2 512 60x60 512 
12 Concat_2 = = = = 60x60 1024 
13 Conv_block2 3x3 1 1 512 60x60 512 
14 Transpose Conv_3 2x2 2 3 256 120x120 256 
15 Concat_ 3 es 3 = == 120x120 512 
16 Conv_block3 3x3 1 1 256 120x120 256 
区 Transpose Conv_4 2x2 2 = 128 240x240 128 
18 Concat_ 4 = = = 和 240x240 192 
19 Conv_block4 3x3 1 1 128 240x240 128 
20 Transpose Conv_5 2x2 2 = 64 480x480 64 
21 Concat 5 二 3 = = 480x480 67 
22 Conv_block5 3x3 1 1 64 480x480 64 
23 Output_Conv 1x1 1 6 480x480 6 


(C)1994-2022 China Academic Journal Electronic Publishing House. All rights reserved. http:/www.cnki.net 


1442 建筑 结 构 2021 年 


个 


X 
一 一 一 一 三 一 一 一 - 


1 
| 本 本 
| | 权 值 层 了 机 水 下 盖 会 随机 上 下 二 
| | 数据 增强 
1 ReLU | 
1 
1 权 值 层 | 
FE | 

| JReLU | 
| 

权 值 层 | 


Label 


图 6 图 像 数据 预 处 理 流 程 


集 ， 利 用 滑动 窗口 技术 对 图 像 进 切 制 ， 窗 口 大 小 
取 1000x750， 步 长 取 500， 具 体操 作 流 程 如 图 6 
所 示 。 经 过 切 制 ， 一 张 4608x3456 的 图 像 可 以 生 
成 114 张 子 图 像 , 对 于 分 辨 率 小 于 1000x750 的 图 
像 ， 采 用 线性 插值 方法 调整 图 像 大 小 为 1000x 
750。 经 过 切割 调整 之 后 ,共产 生 23500 张 分 辩 率 
为 1000x750 的 图 像 , 其 中 相当 部 分 图 像 在 切割 时 
只 包含 背景 ， 经 过 人 工 筛选 ， 选 择 了 10000 张 图 
像 ， 随 机 进行 水 平 翻转 或 上 下 翻转 ， 最 终 得 到 
13200 张 数据 集 用 于 训练 。 部 分 数据 集 及 真 值 标 
签 如 图 7 所 示 。 
图 4 原始 病害 数据 集 将 13200 张 病害 图 像 数 据 分 为 训练 集 、 验 证 
集 、 测 试 集 。 其 中 90% 用 于 训练 和 验证 ，10% 用 
于 测试 。 有 具体 的 分 配 比 例如 表 2 所 示 。 
2.2 参数 配置 

模型 训练 参数 配置 如 表 3 所 示 。 由 于 计算 机 配 
置 限制 , 批 次 大 小 为 4, 优化 函数 采用 的 是 随机 梯度 
下 降 算法 (SGD) 、 动 量 因 子 为 0.9， 损 失 函 数 采用 
交叉 烂 损失 (Cross Entropy) ， 初 始 学 习 率 为 0.001， 
20 轮 减 小 10%, 通过 逐渐 减 小 学 习 率 来 保证 网 络 
图 5 PixelAnnotationTool 软件 标注 真 值 标 签 梯度 下 降 时 逐渐 趋 于 最 优 解 。 


图 7 部 分 病害 数据 集 及 标签 
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病害 数据 集 分 配 明细 表 2 收敛 ， 在 大 约 10 轮 迭 代 之 后 ， 损 失 函 数值 降 至 
病害 类 型 训练 集 验证 集 测试 集 0~0.1 之 间 ，30 轮 之 后 Res-Unet 模型 损失 函数 逐 
裂 缘 2190 283 278 渐 收 敛 于 0.04 之 间 ， 在 所 有 模型 中 最 低 。 
剥落 2100 257 264 
泛 碱 2100 275 281 一 一 Res-Unet 
露 筋 2110 261 256 站 
孔洞 2010 268 267 | 区 
合计 10510 1344 1346 让 
& 0.4r 
超 参数 配置 表 3 = | 
超 参 数 值 超 参 数 值 0.2 上 
Batch Size 4 Epochs 50 下 了 Se 
Learning rate 0.001 Loss CrossEntropyLoss 0.0 0 站 用 i 
Optimizer SGD Momentum 0.9 Epoch 
weight-decay 0.0001 和 = (a) 损失 函数 曲线 图 
§ Ee 0.9r 
2.3 评估 标准 | 
为 了 验证 模型 检测 效果 ， 采 用 mIoU (平均 | 
交 并 比 )、mPA〈 平 均 像素 精度 ) 作为 评价 指标 Gell 
对 比分 析 训 练 效果 。 30.5F 
大 Si 
IPA = 一 一 ku ( 1 ) 0. 3 上 一 :一 Res-Unet 
k+l . 一 一 Unet+VGG16 
>, "| ws 
v=0 0.1F ee 
1 k Pp 0 mm 20 30 20 50 
mloU = 2 k kK (2) Epoch 
=0 
" > Pu+> P， Ph, (b) mIoU 曲线 图 
v=0 v=0 
其 中 ， 平 均 像素 精度 (mPA) 为 计算 每 个 类 ol 
内 被 正确 分 类 像素 数 的 比例 , 再 求 所 有 类 的 平均 ; 0.95 
平均 交 并 比 (mIoU) 为 计算 每 个 类 真实 值 与 预测 
Re a a 0.90 
值 的 交集 和 并 集 之 比 ， 之 后 求 平均 。k+1 表示 加 二 
一 一 下 县 
入 背景 的 病害 类 别 数 ， Dp 、 Dr 表示 类 别 为 ul(v) 0.85 一 一 Res-Unet 
ee ME 一 一 FCN+ResNet50 
的 像素 被 预测 为 类 别 v(w) 的 数量 , 即 假 阳性 (False 区 一 一 tnet Veol6 
Positives，FP), 与 假 明 性 (False Negatives，FN )， + FCN+VGG16 
BP: 表示 为 像素 预测 正确 的 数量 ， 即 正 阳性 (True 9 10 20 30 40 5 
Positive，TP )。 Bee 
红 恋 仙 图 
3 ”模型 训练 与 结果 分 析 on 
图 8 损失 函数 、mIoU 及 mPA 曲线 变化 图 


本 文 将 Unet 模型 与 ResNet50 网 络 相 结合 ， 
提出 了 一 种 改进 的 Res-Unet 模型 ， 为 了 验证 模型 
的 性 能 优势 ， 将 Res-Unet 模型 分 别 与 原 Unet 模 
型 、Unet+VGG16 模型 、FCN+VGG16 模型 和 


= = 


FCN+ResNet50 模型 对 比 。 在 相同 超 参 数 训练 下 ， 
模型 迭代 50 轮 后 区 域 收敛 。 损 失 函 数 、mIoU、 
mPA 曲线 如 图 8 所 示 。 

由 图 所 示 ， 在 训练 前 期 随 着 迭代 轮 数 的 增加 
损失 函数 快速 下 降 ， 这 说 明 模 型 参数 向 着 最 优 解 


mIoU 及 mPA 曲线 图 可 知 , Res-Unet 模型 
有 着 良好 的 表现 ， 在 mIoU 中 ，Res-Unet 模型 平 


均 交 交 并 比 达 到 了 86.3%， 远 高 于 第 二 位 
FCN+ResNet50 模型 (67.4%)， 在 mPA 曲线 中 ， 


Res-Unet 模型 平均 精度 达到 了 98.5%， 
FCN+ResNet50 模型 精度 略 低 于 Res-Unet 模型 ， 
但 也 达到 了 97.4%， 表 现 最 差 的 是 Unet 与 
FCN+VGG16， 分 别 为 91.7%、92.3%。 模 型 训练 
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完成 后 ， 在 测试 集 上 分 别 验证 了 模型 效果 ， 测 试 
结果 如 图 9 所 示 。 


二 Unet- FCN Unet RE 
Original Ground Truth ResNet50 +ResNet50 “+VGG16 Unet FCN+VGGI16 


现 


9 模型 测试 输出 效果 对 比 


4 ”实际 应 用 

将 Res-Unet 模型 应 用 于 实际 场景 检测 中 ， 以 
验证 模型 的 鲁 棒 性 。 采 用 现场 拍摄 的 原始 数据 集 
检测 ， 其 中 所 检测 图 像 均 未 为 未 训练 图 像 ， 由 于 
相机 拍摄 图 像 分 辩 率 过 高 ， 不 能 直接 输入 模型 ， 
故 采用 滑动 窗口 技术 ， 在 图 像 中 依次 以 480x480 
窗口 扫描 网 像 ， 一 张 分 辨 率 4608x3456 的 图 像 平 
均 检 测 时 间 约 为 3s， 检 测 结果 如 图 10 所 示 。 

由 上 述 检测 结果 可 知 ， 对 于 裂缝 ， 基 本 能 够 
保证 提取 完整 的 裂 颖 骨架 并 检 出 细微 裂缝 ， 对 于 
剥落 和 露 筋 现 象 在 桥梁 中 居多 ， 往 往 同 时 出 现 ， 
虽 都 能 检 出 ， 但 当 背 景 复杂 或 刊 落 与 正常 混凝土 
背景 相似 时 检测 效果 稍 差 ， 对 于 泛 碱 与 孔洞 ， 与 
背景 混凝土 反差 较 明显 , 能 较 好 检测 出 病害 轮廓 


位 置 ， 部 分 会 存在 漏 检 现象 。 综 上 ，Res-Unet 图 10 实际 场景 检测 效果 

XX] 绿 能 多 仿 测 病害 位 ? 下 痪 vE 尼子 = = \ 已 凶 

WO tne see ee (3) 为 保障 混凝土 表面 病害 检测 人 员 安全 、 
要 局 全 减少 工作 量 实现 高 效 自动 化 检测 以 及 混凝土 结构 


续 研 究 会 继续 补充 样本 集 ， 增 加 工 况 场景 ， 提 升 
模型 性 能 。 


的 维护 、 保 养 提供 了 技术 支持 与 理论 指导 。 
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